Catégories
du token au chatbot
3 articles
-
Du token au chatbot · Épisode 1 12 juillet 2026 · 41 minComment un LLM fabrique un mot
Un LLM ne fait qu'une seule chose : prédire le prochain mot, en boucle. Premier volet de la série « Du token au chatbot » — tokens, embeddings, logits et softmax, avec de vraies manips Python pour voir GPT-2 hésiter puis choisir « Paris ».
Lire la suite ↗ -
Du token au chatbot · Épisode 2 16 juillet 2026 · 36 minL'attention : comment les mots « se parlent »
Deuxième volet de la série « Du token au chatbot ». Le mécanisme d'attention, expliqué sans aucun bagage mathématique : produit scalaire, softmax et le trio Query/Key/Value, avec de vraies manips Python pour voir un modèle relier « it » à « cat ».
Lire la suite ↗ -
Du token au chatbot · Épisode 3 24 août 2026 · 27 minLe hasard maîtrisé : température, top-k, top-p
Troisième volet de la série « Du token au chatbot ». Comment un LLM choisit réellement le prochain mot : greedy, échantillonnage, et les trois curseurs température / top-k / top-p, avec de vraies manips Python pour sentir l'équilibre entre fiabilité et créativité.
Lire la suite ↗